AI资讯新闻榜单内容搜索-Contextual

关键词: AI,模型训练,Scaling Law,人工智能

本文是一篇发表在 NeurIPS 2024 上的论文，单位是香港大学、Sea AI Lab、Contextual AI 和俄亥俄州立大学。论文主要探讨了大型语言模型（LLMs）的词表大小对模型性能的影响。

关键词: MoE,大模型,Gemini-1.5,GPT-4,Contextual AI,OLMoE

训练代码、中间 checkpoint、训练日志和训练数据都已经开源。